In de heerlijkheid Hertsberge lag een proosdij van regulier kanunniken afhankelijk van de abdij Sint-Calixtus in het Noord-Franse Cysoing. Een kapel op deze locatie zou al hebben bestaan in de 9de eeuw. Rond het midden van de 16de eeuw wordt de kapel herbouwd en is in deze toestand nog bewaard tot op vandaag. De proosdij werd afgeschaft tijdens de Franse Revolutie.
In het begin van de 19de eeuw wordt op de site door Philip Veranneman tegenaan de georiënteerde proosdijkapel een nieuw imposant kasteel gebouwd in een neo-Vlaamse renaissancestijl. In 1880 koopt baron Robert Rapaert de Grass, die later de eerste burgemeester van Hertsberge zal worden (1921-1930), het kasteel van de familie Veranneman.
Tijdens de Eerste Wereldoorlog raken het kasteel en de voormalige proosdijkapel erg beschadigd door beschietingen. In de loop van de jaren 1920 wordt de kapel en het kasteel op dringend verzoek van de Koninklijke Commissie voor Monumenten en Landschappen, bij monde van architect Viérin en baron Van Zuylen, gerestaureerd door architect Joseph De Jonghe. Sinds 1990 is het kasteel eigendom van een industriëlenfamilie.